\chapter{基本的渐近理论——Wooldridge (1999)}
\section{确定性序列收敛}
\textbf{序列收敛的定义}：如果对于一个任意小的$ \varepsilon>0 $，存在$ N_\varepsilon $使得$ N>N_\varepsilon $时，有$ |a_N-a|<\varepsilon $，我们就说这个非随机数序列$ \{a_N:N=1,2,\cdots\} $收敛于$ a $。记作当$ N\rightarrow \infty $时，$ a_N\rightarrow a $。

\textbf{序列有界的定义}：当且仅当存在$ b<\infty $，使得$ |a_N|\le b $对于所有$ N=1,2,\cdots, $都成立，我们就说这个序列$ \{a_N:N=1,2,\cdots\} $是有界的。

几个例子：
\begin{itemize}
	\item $ a_N=2+\frac{1}{N} $，那么$ a_N\rightarrow 2 $;
	\item $ a_N=(-1)^N $，那么$ a_N $不收敛，但有界；
	\item $ a_N=N^{1/4} $，那么$ a_N $既不收敛也无界；
\end{itemize}

\textbf{$ O(N^\lambda) $的定义}：如果$ \frac{a_N}{N^\lambda} $是有界的，我们就说这个序列是$ O(N^\lambda) $的。进一步，如果当$ \lambda=0 $时，$ \{a_N\} $是有界的，则可以记作$ a_N=O(1) $。

\textbf{$ o(N^\lambda) $的定义}：如果$ \frac{a_N}{N^\lambda} $收敛于0，我们就说这个序列是$ o(N^\lambda) $的。进一步，如果当$ \lambda=0 $时，$ \{a_N\} $收敛于0，则可以记作$ a_N=o(1) $。
\section{依概率收敛与依概率有界}
\textbf{依概率收敛的定义}：如果对于任意的$ \varepsilon>0 $，一个随机序列$ \{x_N:N=1,2,\cdots\} $有，
\[ P[|x_N-a|>\varepsilon]\rightarrow 0,\qquad N\rightarrow \infty \]
我们就说该随机序列依概率收敛于常数$ a,a $是它的概率极限，记作$ x_N\overset{p}{\rightarrow}0 $或$ p\lim x_N=a $。进一步，如果$ a=0 $,我们也称$ \{x_N\} $是$ o(1) $的。

\textbf{依概率有界的定义}：当且仅当对于每一个$ \varepsilon >0 $，存在一个$ b_\varepsilon<\infty $以及一个整数$ N_\varepsilon $，使得，
\[ P[|x_N|\ge b_\varepsilon]<\varepsilon \qquad N>N_\varepsilon\]
我们就说随机序列$ \{x_N\} $是依概率有界的，并记作$ x_N=O_p(1) $。

可见，如果序列依概率收敛于任何实数，那么它是依概率有界的。

\textbf{$ o_p(a_N) $的定义}：对于非随机的正的序列$ \{a_N\} $，如果$ \frac{x_N}{a_N}=o_p(1) $，则我们记作$ x_N=o_p(a_N) $。

\textbf{$ O_p(a_N) $的定义}：对于非随机的正的序列$ \{a_N\} $，如果$ \frac{x_N}{a_N}=O_p(1) $，则我们记作$ x_N=O_p(a_N) $。

记住一个简单的\textbf{引理：}
\begin{align*}
&o_p(1)+o_p(1)=o_p(1), \qquad  O_p(1)+O_p(1)=O_p(1)\\
&o_p(1)O_p(1)=o_p(1),\qquad O_p(1)O_p(1)=O_p(1)
\end{align*}

\textbf{斯拉茨基定理}：设$ g:\mathcal{R}^K\rightarrow \mathcal{R}^J $在某点$ c\in \mathcal{R}^K $是一个连续函数。如果$ K\times 1 $维的随机序列$ x_N\overset{p}{\rightarrow} c $，则$ g(x_N)\overset{p}{\rightarrow} g(c) $。
\section{依分布收敛}
\textbf{依分布收敛的定义}：当且仅当，
\[ F_N(\xi)\rightarrow F(\xi),\qquad N\rightarrow \infty,\xi\in \mathcal{R} \]
其中$ F_N $表示$ x_N $的累积分布函数。我们就说随机变量序列$ \{x_N\} $依分布收敛于连续随机变量$ x $。记作$ x_N\overset{d}{\rightarrow}x $。

几个有用的\textbf{引理：}
\begin{itemize}
	\item 如果$ x_N\overset{d}{\rightarrow}x $，那么$ x_N=O_p(1) $。即依分布收敛，则意味着依概率有界。
	\item 连续映射定理：如果$ g $是一个连续函数，$ x_N\overset{d}{\rightarrow}x $，那么$ g(x_N)\overset{d}{\rightarrow}g(x) $。
	\item 渐近等价引理：如果$ z_N\overset{d}{\rightarrow}z,x_N-z_N\overset{p}{\rightarrow}0 $，那么$ x_N\overset{d}{\rightarrow}z $。
\end{itemize}
\section{随机样本的极限定理}
独立同分布的随机变量：
\begin{itemize}
	\item 大数定律
	\item 中心极限定理
\end{itemize}

\section{估计量与检验统计量的极限特性}
\textbf{一致估计量的定义}：设$\{ \hat{\theta}:N=1,2,\cdots\} $是一个估计量序列，如果，
\[ \hat{\theta}\overset{p}{\rightarrow}\theta \]
成立，我们就说$ \hat{\theta} $是$ \theta $的一致估计量。

\textbf{渐近正态分布的定义}：设$\{ \hat{\theta}:N=1,2,\cdots\} $是一个估计量序列，如果，
\begin{equation}\label{c1}
 \sqrt{N}(\hat{\theta}-\theta)\overset{d}{\rightarrow}\mathcal{N}(0,V)
\end{equation}


其中$ V $是一个半正定矩阵。我们就说$ \hat{\theta}_N $是$ \sqrt{N} $渐近正态分布。$ V $是$ \sqrt{N}(\hat{\theta}-\theta) $的渐近方差，记作$ Avar \sqrt{N}(\hat{\theta}-\theta)=V $。而且，这个式子也是成立的，$Avar(\hat{\theta}_N)=V/N  $。

\textbf{计量经济学经常用到的统计量的极限分布：}
\begin{itemize}
	\item 假设\eqref{c1}式成立，$ V $是正定的。对于任意非随机$ Q\times P $维矩阵$ \bm{R}, Q\le P $，则以下两式成立，
	\begin{align*}
	\sqrt{N}\bm{R}(\hat{\bm{\theta}}_N-\bm{\theta})&\overset{d}{\rightarrow}\mathcal{N}(0,\bm{RVR}')\\
	[\sqrt{N}\bm{R}(\hat{\bm{\theta}}_N-\bm{\theta})]'(\bm{RVR}')^{-1}[\sqrt{N}\bm{R}(\hat{\bm{\theta}}_N-\bm{\theta})]&\overset{d}{\rightarrow}\chi^2_Q
	\end{align*}
	
	特别地，如果$ p\lim \hat{V}_N=V $，那么，
	\[ [\bm{R}(\hat{\bm{\theta}}_N-\bm{\theta})]'[\bm{R(\hat{V}_N/N)R}']^{-1}[\bm{R}(\hat{\bm{\theta}}_N-\bm{\theta})]\overset{d}{\rightarrow}\chi^2_Q \]
	\item 设$ c $是参数空间上的一个连续可微函数，且在该空间内部。定义$ C(\bm{\theta})\equiv\bm{\bigtriangledown}_\theta c(\bm{\theta}) $是$ c $的$ Q\times P $维雅可比行列式，于是有以下两式成立，
	\begin{align*}
	 \sqrt{N}[c(\hat{\bm{\theta}}_N)-c(\bm{\theta})] \overset{d}{\rightarrow}&\mathcal{N}[0,C(\bm{\theta})\bm{VC}(\bm{\theta})']\\
	 \{\sqrt{N}[c(\hat{\bm{\theta}}_N)-c(\bm{\theta})]\}'(\bm{C(\theta)VC(\theta)}')^{-1}\{\sqrt{N}[c(\hat{\bm{\theta}}_N)-c(\bm{\theta})]\}&\overset{d}{\rightarrow}\chi^2_Q
	\end{align*}
	特别地，如果$ p\lim \hat{V}_N=V $，并定义$ \hat{C}_N\equiv C(\hat{\theta}_N) $，那么，
	\[ \{\sqrt{N}[c(\hat{\bm{\theta}}_N)-c(\bm{\theta})]\}'(\bm{\hat{C}_N(\theta)\hat{V}_N\hat{C}_N(\theta)}')^{-1}\{\sqrt{N}[c(\hat{\bm{\theta}}_N)-c(\bm{\theta})]\}\overset{d}{\rightarrow}\chi^2_Q \]
	
	这实际上意味着，
	\[ Avar[c(\hat{\bm{\theta}}_N)]=\hat{C}_N(\hat{V}_N/N)\hat{C}'_N =\hat{C}_NAvar(\hat{\bm{\theta}}_N)\hat{C}'_N\]
	
	因此，只要有$ Avar(\hat{\bm{\theta}}_N) $以及雅可比行列式，就可以计算$ Avar[c(\hat{\bm{\theta}}_N)] $。这就是\textbf{德尔塔法}。
\end{itemize}

\textbf{德尔塔法的另一个直观表述}。
设$ \bm{a(\bm{\beta})} $是输出为$ m $维，输入为$ K $维的向量函数，那么可以定义\textbf{Jacobian矩阵}
\[ \underbrace{\bm{A(\beta)}}_{m\times K}\equiv \frac{\partial \bm{a(\beta)}}{\partial \bm{\beta}'} \]

假设$ \{\bm{x}_n \} $是一个$ K $维随机向量序列，满足$ \bm{x}_n\xrightarrow{p} \bm{\beta} $,	并且$ \sqrt{n}(\bm{x}_n-\bm{\beta})\xrightarrow{d}z,z $为某随机变量。假设向量函数$ \bm{a}(\cdot):\bm{R}^K\rightarrow \bm{R}^m $有连续的一阶导数，并记其雅可比矩阵为$ \underbrace{\bm{A(\beta)}}_{m\times K}= \frac{\partial \bm{a(\beta)}}{\partial \bm{\beta}'} $，则，
\[ \sqrt{n}[\bm{a}(\bm{x}_n)-\bm{a}(\bm{\beta})]\xrightarrow{d}\bm{A(\beta)}z \]


\textbf{瓦尔德统计量的应用：}
\begin{itemize}
	\item 检验线性约束原假设$H_0: \bm{R\theta}=\bm{r}$，备择假设$ H_1: \bm{R\theta}\ne\bm{r} $，$ r $是一个$ Q\times 1 $维的非随机向量，那么瓦尔德统计量为，
	\[ W_N= [(\bm{R}\hat{\bm{\theta}}_N-\bm{r})]'[\bm{R(V_N/N)R}']^{-1}[(\bm{R}\hat{\bm{\theta}}_N-\bm{r})]\overset{d}{\rightarrow}\chi^2_Q\]
	\item 检验原假设$ H_0: c(\bm{\theta}) =0$，备择假设$ H_1:c(\bm{\theta})\ne 0 $，瓦尔德统计量为，
	\[ W_N= c(\hat{\bm{\theta}}_N)'[\hat{C}_N\bm{(V_N/N)}\hat{C}'_N]^{-1}c(\hat{\bm{\theta}}_N)\overset{d}{\rightarrow}\chi^2_Q \]
\end{itemize}
